Konstantin Rokossovsky sinh năm 1896 tại thủ đô Warszawa của Ba Lan, tuy nhiên cũng có tài liệu cho rằng ông sinh tại thành phố Velikiye Luki ở Tây Bắc Đế quốc Nga và gia đình ông chỉ chuyển về Warszawa một thời gian sau đó. Dòng họ Rokossovsky vốn thuộc dòng dõi quý tộc Ba Lan (Szlachta) từng sản sinh ra nhiều kỵ sĩ nổi tiếng, nhưng bố của Konstantin, ông Ksawery Wojciech Rokossowski, chỉ là một công nhân xe lửa Ba Lan làm việc ở Nga, còn mẹ ông là người Nga chính gốc.

Năm 14 tuổi, Konstantin Rokossovsky trở thành trẻ mồ côi và bắt đầu phải kiếm sống bằng cách làm việc trong nhà máy và sau đó là thợ đá học việc ở Warszawa.